Beyond Timestamps: Decision-Aligned On-Policy Distillation for Long-Horizon Agents
超越时间戳：面向长程智能体的决策对齐在线策略蒸馏
🧭 长程 Agent 决策对齐的在线自蒸馏 ★ 深度解读
Beihang University · Tsinghua University
提出 ALIGNOPSD，用跨 rollout 决策对齐修正特权监督并用可变决策片段分配 credit，长程 Agent RL 提升 5.5–8.7%
📌 工作参考价值（4 点）
- 在电商导购/搜索式推荐 Agent 的 RLVR 训练中，若用带特权信息的 teacher policy 做 dense 监督，不要按 turn index 对齐 teacher/student；用 thinking trace 的 frozen embedding 余弦做跨 rollout soft matching，再 teacher-force 同一 response，可避免时间戳错配污染 credit。
- 把一次输出作为 credit 最小单位太粗、token 太细；用相邻 turn 的 correspondence profile 的 JSD 变化自动切分决策片段，再在 span 内按证据分配 advantage，更适合“同一个决策跨多轮”的场景（如搜索→点商品→比价→加购中“比价”持续多轮）。
- 优势分配时用 stop-gradient 的权重乘到 group-normalized advantage，不引入额外 distillation loss；KL 正则约束 span/turn 分配不偏离均匀 token measure，训练更稳定。
- 超参默认值：credit temperature T=0.5 跨任务和模型尺度较稳定；thinking similarity threshold 0.7–0.8 较稳；top-K 需按任务调，长轨迹可稍大，短轨迹需更小。